Generalization in offline RL: The structure is more important than the amount of pessimism
离线强化学习泛化：悲观结构比悲观程度更重要
🧭 离线RL泛化 · 悲观结构对称性
Delft University of Technology
在上下文MDP中，悲观结构的对称性而非悲观程度，决定了离线RL最优泛化；建议用策略提取一致性增强。
📌 工作参考价值（4 点）
- 设计离线策略学习时，优先考虑数据覆盖的结构对称性，而不是盲目调节保守系数。
- 数据增强不应仅用于扩充训练集，更应通过策略提取阶段的一致性损失注入对称归纳偏好，尤其适用于已知旋转、平移等对称性的推荐/Agent环境。
- 若业务场景存在对称性（如用户偏好对商品类别旋转不变），可显式约束价值函数对称，以提升泛化。
- 离线训练Agent时，避免在增强数据上直接做价值迭代，改用先离线训练再策略提取时加入一致性正则，能更稳定地利用增强。